• Đỗ Hữu Phương có người vợ rất đảm đang họ Trần. Học giả Vương Hồng Sển viết: Sự nghiệp [của ông Phương] trở nên đồ sộ nhứt nhì trong xứ, phần lớn do tay phu nhân Trần thị gây dựng. Bà giỏi tài đảm đang nội trợ, một tay quán xuyến trong ngoài, làm của đẻ thêm ra mãi, lại được trường thọ, mất sau chồng....[13][14].
• Ông Phương có một người con trai là Đỗ Hữu Vị (1883–1916), một phi công người Việt phục vụ trong Quân đội Pháp. Nhiều tài liệu cho rằng ông "là người Việt Nam đầu tiên lái máy bay chiến đấu".
• Ông Phương là một trong những người đề xướng và đã bỏ tiền ra xây trường Collège de Jeunes Filles Indigènes vào năm 1915, tức trường Nữ Trung học Sài Gòn, mà người dân thường gọi là trường Áo Tím (nay là Trường Trung học Phổ thông Nguyễn Thị Minh Khai).[14]
• Trước đây, tại quận 5, thành phố Hồ Chí Minh, có con đường mang tên Tổng đốc Phương; ngày 14 tháng 8 năm 1975, ngành chức năng đã đổi lại tên là Châu Văn Liêm.
• Sách Hỏi đáp về Sài Gòn-Thành phố Hồ Chí Minh cho biết nhà ông Phương có treo câu đối hoành phi sơn son thếp vàng:

Tương truyền, nhà thơ Phan Văn Trị khi nghe ông Phương thách ai đối được câu đối ấy, đã đối lại rằng:

Đại khái, "Ngũ phước Tam Ða" trong câu đối là có ý nói ông Phương có năm cậu con trai đều đỗ cao làm quan lớn [15], và ba cô gái đều lấy chồng sang trọng. Còn trong câu đối lại, thì "cù lao Rồng" ở Mỹ Tho là một bệnh viện phong cùi. Trong Nam khi phát âm "phung" và "phun" đều như nhau. Vì hiểu được ý thâm ấy, nên khi đọc xong, ông Phương giận tím người...[16]